Unsupervised Dialogue Act Induction using Gaussian Mixtures

This paper introduces a new unsupervised approach for dialogue act induction. Given the sequence of dialogue utterances, the task is to assign them the labels representing their function in the dialogue. Utterances are represented as real-valued vectors encoding their meaning. We model the dialogue as Hidden Markov model with emission probabilities estimated by Gaussian mixtures. We use Gibbs sampling for posterior inference. We present the results on the standard Switchboard-DAMSL corpus. Our algorithm achieves promising results compared with strong supervised baselines and outperforms other unsupervised algorithms.Comment: Accepted to EACL 201

Modulator for 4-level Flying Capacitor Converter with Balancing Control in the Closed Loop

This paper presents a modulator with an active voltage balancing control for the three-phase four-level FLC converter based electric motor drive for applications supplied directly from a 6 kV ac-grid. It describes a modulation algorithm of the FLC converter by using the phase shifted PWM modulation with balancing voltage of the flying capacitor by using P controllers in the closed loop. The proposed control was verified by experiments carried out on the down-scale drive prototype of the rated power of 35 kVA

HPS: High precision stemmer

Abstract Research into unsupervised ways of stemming has resulted, in the past few years, in the development of methods that are reliable and perform well. Our approach further shifts the boundaries of the state of the art by providing more accurate stemming results. The idea of the approach consists in building a stemmer in two stages. In the first stage, a stemming algorithm based upon clustering, which exploits the lexical and semantic information of words, is used to prepare large-scale training data for the second-stage algorithm. The second-stage algorithm uses a maximum entropy classifier. The stemming-specific features help the classifier decide when and how to stem a particular word. In our research, we have pursued the goal of creating a multi-purpose stemming tool. Its design opens up possibilities of solving non-traditional tasks such as approximating lemmas or improving language modeling. However, we still aim at very good results in the traditional task of information retrieval. The conducted tests reveal exceptional performance in all the above mentioned tasks. Our stemming method is compared with three state-of-the-art statistical algorithms and one rule-based algorithm. We used corpora in the Czech, Slovak, Polish, Hungarian, Spanish and English languages. In the tests, our algorithm excels in stemming previously unseen words (the words that are not present in the training set). Moreover, it was discovered that our approach demands very little text data for training when compared with competing unsupervised algorithms

Unsupervised methods for language modeling: technical report no. DCSE/TR-2012-03

Language models are crucial for many tasks in NLP and N-grams are the best way to build them. Huge e ort is being invested in improving n-gram language models. By introducing external information (morphology, syntax, partitioning into documents, etc.) into the models a signi cant improvement can be achieved. The models can however be improved with no external information and smoothing is an excellent example of such an improvement. Thesis summarizes the state-of-the-art approaches to unsupervised language modeling with emphases on the in ectional languages, which are particularly hard to model. It is focused on methods that can discover hidden patterns that are already in a training corpora. These patterns can be very useful for enhancing the performance of language modeling, moreover they do not require additional information sources

Lineární transformace pro kroslinguální sémantickou podobnost textů

Cross-lingual semantic textual similarity systems estimate the degree of the meaning similarity between two sentences, each in a different language. State-of-the-art algorithms usually employ machine translation and combine vast amount of features, making the approach strongly supervised, resource rich, and difficult to use for poorly-resourced languages. In this paper, we study linear transformations, which project monolingual semantic spaces into a shared space using bilingual dictionaries. We propose a novel transformation, which builds on the best ideas from prior works. We experiment with unsupervised techniques for sentence similarity based only on semantic spaces and we show they can be significantly improved by the word weighting. Our transformation outperforms other methods and together with word weighting leads to very promising results on several datasets in different languages.Systémy pro kroslinguální sémantickou podobnost textů odhadují stupeň podobnosti významů mezi dvěma větami v různých jazycích. Nejnovější algoritmy obvykle používají strojový překlad a kombinují obrovské množství nejrůznějších nástrojů. To způsobuje, že tento přístup je silně supervizovaný, náročný na zdroje, a obtížný pro použití na okrajových jazycích. V tomto článku studujeme lineární transformace, které převádí monolinguální sémantické prostory do sdíleného prostoru pomocí bilinguálních slovníků. Představujeme novou transformaci, která je založena na nejlepších publikovaných přístupech. Experimentujeme s nesupervizovanými technikami pro podobnost vět založených výhradně na sémantických prostorech a ukazujeme, že tento přístup může být dále vylepšen pomocí vážení slov. Naše transformace překonává ostatní metody a společně s vážením slov vede k velmi slibným výsledkům na několika datasetech v různých jazycích

Distribuční sémantika v jazykovém modelování

Jazykové modely jsou důležitou součástí mnoha úloh ve zpracování přirozeného jazyka a n-gramy jsou pravděpodobně nejlepší způsob jak je vytvořit. Vylepšování n-gramových jazykových modelů bylo věnováno značné úsilí. Použitím externí informace (morfologie, syntaxe, apod.) v těchto modelech může dojít k výraznému vylepšení. Tyto modely však mohou být vylepšeny i bez externí informace a efektivnější vyhlazování je reprezentativní příklad takového vylepšení. Pokud pochopíme skryté vzory v neoznačkovaných korpusech, můžeme zvýšit kvalitu jazykového modelování pouze s informací, která je již v těchto korpusech přítomna. Tato práce se zabývá třemi různými směry odkrývání latentní informace. Globální sémantika je modelována pomocí Latentní Dirichletovy alokace a zahrnuje globální relace do jazykových modelů. Slovní třídy, získané pomocí sémantických prostorů, obohacují tyto jazykové modely o lokální sémantiku. Nakonec je použit náš vlastní stemovací algoritmus, založený na trénování bez učitele, který ještě navyšuje výkonnost jazykových modelů u flektivních jazyků. Náš výzkum ukazuje, že tyto tři zdroje informací se obohacují navzájem a že jejich kombinace vede ke dramatickému vylepšení jazykových modelů. Všechny zkoumané modely jsou trénované bez učitele. Ukazujeme účinnost našich modelů na několika jazycích různých typů, což prokazuje nezávislost na konkrétním jazyce.ObhájenoLanguage models are crucial for many tasks in natural language processing and n-grams are probably the best way to build them. Huge effort is being invested in improving the n-gram language models. By introducing external knowledge (morphology, syntax, etc.) into the models, a significant improvement can be achieved. The models can, however, be improved without external knowledge and the better smoothing is an excellent example of such improvement. By discovering hidden patterns in unlabeled training corpora, we can enhance the language modeling with the information that is already present in the corpora. This thesis studies three different ways of latent information discovery. Global semantics is modeled by latent Dirichlet allocation and brings long-range dependencies into language models. Word clusters given by semantic spaces enrich these language models with short-range semantics. Finally, our own unsupervised stemming algorithm is used to further enhance the performance of language modeling for inflectional languages. Our research shows that these three sources of information enrich each other and their combination dramatically improves language modeling. All investigated models are acquired in a fully unsupervised manner. We show the efficiency of our methods for several languages within different language families, proving their multilingual properties

Vylepšení reprezentace slovních vektorů s využitím globální informace a testování modelu na flektivním jazyce

In this paper we evaluate our new approach based on the Continuous Bag-of-Words and Skip-gram models enriched with global context information on highly inflected Czech language and compare it with English results. As a source of information we use Wikipedia, where articles are organized in a hierarchy of categories. These categories provide useful topical information about each article. Both models are evaluated on standard word similarity and word analogy datasets. Proposed models outperform other word representation methods when similar size of training data is used. Model provide similar performance especially with methods trained on much larger datasets.V tomto článku vyhodnocujeme metody založené na principu Skip-gram a CBOW pro extrakci reprezentace významu slov rozšířené o globální informaci, testujeme vylepšené metody na flektivním jazyce a porovnáváme s výsledky na angličtině. Korpus včetně globální informace generujeme z Wikipedie, kde jsou články organizovány hierarchicky dle kategorií. Tyto kategorie poskytují dodatečné a velmi užitečné informace (popis) o každém článku. Oba modely jsou otestovány na standardních korpusech slovních similarit a slovních analogií. Navrhované modely překonávají jiné metody reprezentace slov, zvláště když se používají podobné velikosti tréninkových dat. Nás model dává podobné výsledky s modely trénovanými na mnohem větších souborech da

Reprezentace některých frází v sémantických prostorech pro arabštinu

Demonstrujeme několik cest pro použití morfologických slovních analogií na testování reprezentací komplexních slov v sémantických prostorech. Prezentujeme množinu morfologických relací, kde každá z nich může být použita pro generování mnoho slovních analogií. 1) Ukazujeme, že rozdíly vektorů slov v páru se stejnou vzájemnou relací, jsou přibližně paralelní. 2) Navrhujeme, že sčítání vektorů rozdílů, je užitečná operace pro budování frázových vektorů. 3) Ukazujeme, že páry se stejnou relací mohou mít podobné poměry četností v korpusu. 4) Představujeme způsob, jak mohou být homografy se stejnými sémantickými vektory separovány do jiných vektorů pro různé významy, a to za pomocí odhadu četností a zarovnávacích podmínek získaných ze slovních analogií. 5) Pozorujeme, že některé naše analogie jsou paralelní a mohou být kombinovány. Používáme arabská slova jako případovou studii, protože arabská ortografie obsahuje slovesné konjugace, předmětná zájmena, a mnoho dalších lingvisticky zajímavých vlastností. Proto je velké množství frází, sestavených z jednoduchých složek, již obsaženo v sémantických prostorech pro arabštinu dostupných na internetu. Podobné fráze v angličtině vyžadují zahrnutí bigramů či trigramů jako lemmat ve slovních reprezentacích. I přesto morfologie angličtiny umožnuje jiné vztahy v sémantických prostorech, které v arabštině neexistují (například negace). Nově vzniklý korpus morfologických relací je dostupný pro ostatní výzkumníky.Design of electrical machines with low carbon footprint is an actual topic in the industry. Total cost of ownership is the standardized methodology to consider the lifetime costs of a power transformer already in the pre-concept design stage. There still does not exist a widely accepted method to calculate the carbon footprint of power transformers. In this paper a carbon footprint based optimization is presented for a realistic, sub-station transformer selection problem. A two-winding, metaheuristic transformer optimization method is used to calculate transformer optimal key-design parameters. The optimal losses and main parameters of the transformer are compared with the result of TCO optimization. The results shows that a lesser efficient, smaller machine can be a global optimum, if just the environmental factors and the active part of the transformer are considered

Vylepšení reprezentace slovních vektorů s využitím kategorií z Wikipedie

V tomto článku prezentujeme metody Skip-gram a CBOW pro extrakci reprezentace významu slov rozšířené o globální informaci. Využíváme vlastní korpus, který včetně globální informace generujeme z Wikipedie, kde jsou články organizovány hierarchicky dle kategorií. Tyto kategorie poskytují dodatečné a velmi užitečné informace (popis) o každém článku. Představujeme čtyři nové modely, jak obohatit reprezentaci slovních významů s využitím globální informace. Experimentujeme s anglickou Wikipedií a testujeme naše modely na standardních datových souborech podobnosti slov a korpusu slovních analogií. Navržené modely výrazně překonávají standardní metody reprezentace slov, zejména při trénování na velikostně podobných korpusech a poskytují podobné výsledky ve srovnání s metodami trénovanými na mnohem větších souborech dat. Náš nový přístup ukazuje, že zvyšování množství trénovacích dat nemusí zvyšovat kvalitu reprezentace významu slov tolik, jako je trénování s využitím globální informace, nebo jak se ukazuje u nových přístupů , které pracují s vnitřní informací daného slova na bázi jednotlivých znaků (fastText).In this paper we extend Skip-Gram and Continuous Bag-of-Words Distributional word representations models via global context information. We use a corpus extracted from Wikipedia, where articles are organized in a hierarchy of categories. These categories provide useful topical information about each article. We present the four new approaches, how to enrich word meaning representation with such information. We experiment with the English Wikipedia and evaluate our models on standard word similarity and word analogy datasets. Proposed models significantly outperform other word representation methods when similar size training data of similar size is used and provide similar performance compared with methods trained on much larger datasets. Our new approach shows, that increasing the amount of unlabelled data does not necessarily increase the performance of word embeddings as much as introducing the global or sub-word information, especially when training time is taken into the consideration